Hölder Policy Optimisation
Hölder策略优化：动态调度token聚合的RL训练框架
🧭 LLM强化学习训练 · token聚合优化 ★ 深度解读
University College London · Shanghai Jiao Tong University · The Hong Kong University of Science and Technology (Guangzhou)
通过Hölder均值参数p动态调度，在GRPO中平衡梯度浓度与方差，实现数学推理和智能体任务的SOTA性能
📌 工作参考价值（4 点）
- 动态调度聚合参数p的思路可直接迁移到电商推荐的长序列决策中：早期用较大p放大稀疏但关键的交互信号（如购买、加购），后期降低p控制梯度方差，提升策略收敛稳定性。
- Hölder均值提供统一的token/动作聚合算子，只需调整一个连续参数即可在“放大关键信号”与“抑制噪声”之间平滑切换，适合推荐系统中不同阶段（探索期vs.稳定期）的需求。
- 智能体交互任务（如对话式购物助手）中，可借鉴本文的p-annealing策略：保守的线性衰减（如1→-1）可避免过拟合早期噪声，显著提高长程任务成功率。
- 实现简单，完全在log-space计算，仅需替换GRPO中的聚合步骤为带参数p的Hölder均值，无需额外模型或数据，便于快速实验。